Crawlab – 基于Celery的分布式爬虫管理平台

####################
免责声明：工具本身并无好坏，希望大家以遵守《网络安全法》相关法律为前提来使用该工具，支持研究学习，切勿用于非法犯罪活动，对于恶意使用该工具造成的损失，和本人及开发者无关。
####################

Crawlab介绍

Crawlab是一款基于Celery的爬虫分布式爬虫管理平台，支持多种编程语言以及多种爬虫框架。

Crawlab的架构跟Celery非常相似，但是加入了包括前端、爬虫、Flower在内的额外模块，以支持爬虫管理的功能。

Crawlab安装

# 安装后台类库
pip install -r requirements.txt

# 安装前台类库
cd frontend
npm install

更改配置文件config.py，配置API和数据库连接。

# 运行服务
python manage.py serve

https://github.com/tikazyq/crawlab

侵权请私聊公众号删文

 热文推荐  

欢迎关注LemonSec

觉得不错点个“赞”、“在看“